大部分的機器學習的問題，都是要找出再學習時，最適合的參數。神經網路也一樣，必須找出在學習時，最適合的參數(權重與偏權值)。這裡所謂最適合的參數是指，損失函數為最小值的參數。因此，善用梯度，找出函數的最小值(或盡量趨進最小值)的方法，就稱作梯度法。梯度法的名稱會隨著找出最小值或最大值而產生變化。正確來說，找出最小值時，稱作梯度下降法，找出最大值時，稱作梯度上升法。
再神經網路(深度學習)的領域中，梯度法大部份當成「梯度下降法」。再稱作函數的極小值、最小值或稱作鞍點的位置，梯度為0。極小值是局部最小值，亦即只限於某個範圍內的最小值。此外，鞍點是指，由某個方向來看是極大值，但是由其他方向來看卻是最小值的點。梯度法是找出梯度為0的位置，但是卻不見得是最小值(也有可能是極小值或鞍點)。
iThome鐵人賽
看影片追技術